近似动态规划在资源配置中的应用研究

【摘要】大部分资源配置问题都具有离散或连续的状态和决策空间，针对中小型问题，一般运用动态规划（DP）、变分不等式或极大值原理求解，而对于大型资源配置问题，不管问题有无模型都面临着“维数灾”问题。经典DP的运算时间随着问题规模的增加而呈指数增长，变分不等式不能解决具有闭集约束条件的最优化问题，极大值原理只给出了最优化的必要条件。而近似动态规划（ADP）结合了强化学习、神经网络、自适应评价系统以及经典DP等基本原理求解复杂的非线性问题，通过近似计算值函数可以有效避免“维数灾”问题，并克服了其他方法的缺陷。它采用在线和离线相结合的模拟训练方式，能实时适应系统参数的变化，在近年来获得了广泛的研究。本文运用ADP为一般的高维离散型资源配置问题建立合理的数学模型，并提出了基于模型的Actor-Critic算法，然后结合两个具体实例验证模型的有效性及算法的收敛性。第一个实例是汽车租赁问题，在保持汽车持有量平稳变化的基础上，合理配置租赁公司各地汽车持有量，使总利润最大化，在计算机模拟过程中根据最优值函数和约束条件对各参数进行灵敏度分析，定义顾客服务评价指标得出相应的扩建计划。结果表明随着维修能力增强，利润也会增多，但是维修能力增强到一定程度，因为费用提高利润便不再增多。最后利用策略改进算法得出最佳汽车调度策略以达到“稳态”。第二个实例是存在交易成本的投资组合问题。实例面临资金量、交易成本、周转率、收益率和各种外在信息等不确定因素的“维数灾”问题。首先为长期投资组合问题建立一个两阶段ADP模型，第一阶段按照时间序列将整个问题划分为多阶段，按照收益最大化的原则求解一系列线性规划模型得到最优股票持有量，第二阶段是在每一个时间段运用固定资金动态规划模型进行迭代求解，采用ADP分段线性值函数近似方法，提出在不同风险因子下各期的投资组合策略。
【作者】金玉净；
【导师】伏玉琛；
【作者基本信息】苏州大学，管理科学与工程，2014，硕士
【关键词】近似动态规划；资源配置；汽车租赁；投资组合；最优策略；

【参考文献】
[1]袁俊斌.后农业税时代乡镇政府改革问题研究[D].吉林大学,行政管理,2013,硕士.
[2]董祥军.经导管动脉介入技术对兔VX2肝肿瘤内阿霉素分布的影响[D].华中科技大学,影像医学与核医学,2013,硕士.
[3]施鑫华.房地产泡沫预警研究[D].浙江大学,结构工程,2004,硕士.
[4]郭秋生.我国中小企业集合证券发展研究[D].新疆财经大学,金融学,2013,硕士.
[5]胡亚.银花泌炎灵片对大肠埃希菌的抑菌作用及抑菌机理的初步研究[D].吉林大学,病原生物学,2013,硕士.
[6]孔德志.我国高校男子龙舟运动现状与发展策略[D].聊城大学,运动训练（专业学位）,2013,硕士.
[7]张建营.印度谷螟对Cry1AC毒蛋白抗性筛选及抗性机理的初步探讨[D].西南大学,生物安全,2014,硕士.
[8]刘畅.浅析中学思想政治课认同障碍的成因与对策[D].苏州大学,学科教学,2012,硕士.
[9]车美超.利用期货市场缓解我国大豆产业链危机研究[D].天津财经大学,产业经济学,2012,硕士.
[10]苗丹.化妆品购买行为偏好研究[D].渤海大学,企业管理,2013,硕士.
[11]刘永刚.不保险的保险业——信息化“良方”能否“药到病除”[J].中国经济周刊,2005,35:34-35.
[12]张毅.不同倍性鲫鲤GH/IGF-1轴相关因子的表达差异研究[D].湖南师范大学,发育生物学,2014,硕士.
[13]邢新景.数字电视调制器方案的设计与实现[D].浙江大学,通信与信息系统,2004,硕士.
[14]夏颖.合肥地区先秦时期的考古发现[D].安徽大学,考古与博物馆学,2013,硕士.
[15]尹津航.长春羊草沟煤矿矿山环境地质问题研究[D].吉林大学,水利水电工程,2013,硕士.
[16]安璐.教学PPT中插图效果的眼动实验研究[D].江苏师范大学,教育技术学,2013,硕士.
[17]刘林.湘黔苗族蜡染装饰艺术在现代室内设计中的应用研究[D].中南林业科技大学,设计艺术学,2013,硕士.
[18]孙晚霞.银纳米结构/氧化石墨烯复合材料的制备及其电催化性能的研究[D].北京化工大学,2013.
[19]张杰.基于资源共享视角下的住区开放性研究[D].西安建筑科技大学,城市规划与设计,2013,硕士.
[20]李建营,彭汝芳,刘利民,金波,梁华,刘强强,范利生,楚士晋.爆炸冲击波作用下C_(60)O碰撞的第一性原理分子动力学模拟[J].高压物理学报,2013,02:292-298.
[21]麦衍求.X快递公司信息流的整合与优化研究[D].电子科技大学,工商管理（专业学位）,2012,硕士.
[22]王超颖.网络媒介社会动员的口号研究[D].内蒙古大学,新闻与传播,2014,硕士.
[23]张凯.人胚胎干细胞诱导分化为角膜内皮样细胞的实验研究[D].山东大学,眼科学,2014,博士.
[24]杨霞.内质网应激通路在纳米ZnO诱导小鼠肝毒性中的作用及机制[D].浙江大学,儿科学,2014,硕士.
[25]王忠臣,徐绍堂,薛富江.马钢1600CSP热连轧机F2轧机装配精度检验[J].一重技术.2004(01)
[26]张宜娜.免疫复合物在PRRSV-ADE作用中的研究[D].河南农业大学,预防兽医学,2012,硕士.
[27]周启迪.企业社会工作介入员工关系管理之实务探究[D].苏州大学,社会工作（专业学位）,2013,硕士.
[28]何建军,刘家铎,鲁新便,李宗杰.基于模型正演的地震属性分析技术识别和划分碳酸盐岩储层缝洞单元[J].石油地球物理勘探,2009,04:472-477+528+384.
[29]熊传银.MnO_2/石墨烯复合薄膜制备及作为超级电容器电极的研究[D].南京邮电大学,2013.
[30]夏雪花.上市公司股利分配政策影响因素研究[D].西南农业大学,会计学,2004,硕士.
[31]陈晓峰.基于Visual Foxpro的幕墙材料管理系统的设计与实现[D].大连理工大学,软件工程（专业学位）,2013,硕士.
[32]李荣军.经皮双侧扩张后凸成形术治疗骨质疏松性椎体压缩骨折[D].大连医科大学,骨外科学,2012,硕士.
[33]汤敬鹏.个性化教学在中学数学课堂教学中的应用与实践研究[D].西北师范大学,教育,2003,硕士.
[34]郑志元,魏晶晶,王颖.基于旅游异化体验的文化创意街区设计策略及表达研究[J].安徽农业科学,2015,11:162-164+178.
[35]刘静洁.江浩小说创作论[D].内蒙古大学,中国现当代文学,2014,硕士.
[36]冀萌.北京S房地产开发企业的低碳战略研究[D].北京化工大学,工商管理（专业学位）,2013,硕士.
[37]苏会岚.纳米及生物放大技术用于构建高灵敏电化学免疫分析方法的研究[D].西南大学,2012.
[38]刘瑾.期货交易所运营管理问题研究[D].东北财经大学,企业管理,2003,硕士.
[39]周炜.邻吡啶对苯双亚胺d~(10)族金属配合物的合成及发光性能研究[D].哈尔滨工业大学,无机化学,2013,硕士.
[40]赵静.针对跨国公司转让定价的反避税研究[D].天津财经大学,财政学,2012,硕士.
[41]谭高.OEM企业转型能力与转型模式选择研究[D].河北经贸大学,企业管理,2014,硕士.
[42]辛明军.面向协同设计系统的分布式群体决策支持技术研究[D].西北工业大学,2002.
[43]敖莉.草菇主产区优质和耐低温菌株的筛选[D].吉林农业大学,生药学,2012,硕士.
[44]温贤江.重庆市民营经济软环境优化策略[D].重庆大学,公共管理,2014,硕士.
[45]唐雨.数字文档权限管理系统的研究与实现[D].北京邮电大学,信息安全,2013,硕士.
[46]潘景文.挖掘机多功能图形仪表系统研制[D].华侨大学,仪器科学与技术,2013,硕士.
[47]张柏林,佘才高.南京地铁盾构隧道结构设计[J].城市轨道交通研究.2005(01)
[48]肖辰彬.GPS/BD-DR组合导航系统优化设计与实现[D].西南交通大学,信号与信息处理,2014,硕士.
[49]穆永爽.惠普大连BPO中心知识管理体系构建研究[D].大连理工大学,工商管理（专业学位）,2012,硕士.
[50]罗妹芬.过程哲学视野下高校师范生教育智慧生成研究[D].西南大学,高等教育学,2014,硕士.